• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    一種鍵盤模組，包含複數鍵盤按鍵、一光學手指滑鼠及一傳輸介面。該等鍵盤按鍵用以觸發一數位信號。該光學手指滑鼠用以偵測一生理特徵及一位移量。該傳輸介面用以傳輸該數位信號、該生理特徵及該位移量至一顯示裝置。本發明另提出一種顯示系統。
    公开号:TW201322053A
    申请号:TW100142002
    申请日:2011-11-17
    公开日:2013-06-01
    发明作者:Ren-Hau Gu；Ming-Tsan Kao；Sen-Huang Huang
    申请人:Pixart Imaging Inc；
    IPC主号:G06F3-00
    专利说明:
    鍵盤模組及顯示系統
    本發明係關於一種人機介面系統，特別係關於一種具有使用者生理特徵偵測功能之鍵盤模組及顯示系統。
    光學手指滑鼠(optical finger mouse,OFM)由於體積小，通常適合搭配於其他電子裝置。習知光學手指滑鼠係用以偵測一使用者手指表面反射光線之光強度變化，藉以判斷手指之一接觸狀態以及手指相對於一觸控面之一位移量。然而，隨著工業化的發展，使用者使用各式電子裝置的時間逐漸增加，甚至超出體力負荷而不自覺。然而，一般電子裝置並無法偵測使用者當時的生理狀況。
    習知血氧飽和儀(pulse oximeter)係利用非侵入式的方式來偵測使用者之血氧濃度及脈搏數，其可產生一紅光光束(波長約660奈米)及一紅外光光束(波長約910奈米)穿透待測部位，並利用帶氧血紅素(oxyhemoglobin)及去氧血紅素(Deoxyheamo-globin)對特定光譜具有不同吸收率之特性以偵測穿透光的光強度變化，例如參照美國專利第7,072,701號，標題為血氧濃度的監測方式(Method for spectro-photometric blood oxygenation monitoring)。偵測出兩種波長之穿透光的光強度變化後，再以下列公式計算血氧濃度
    血氧濃度=100%×[HbO2]/([HbO2]+[Hb])；
    其中，[HbO2]表示帶氧血紅素濃度；[Hb]表示去氧血紅素濃度。
    一般血氧飽和儀所偵測到的兩種波長之穿透光的光強度會隨著心跳而呈現如第1圖所示的變化，這是由於血管會隨著心跳不斷地擴張及收縮而使得光束所通過的血液量改變，進而改變光能量被吸收的比例。藉此，根據不斷變化的光強度資訊則可計算血液對不同光譜之吸收率，以分別計算帶氧血紅素濃度及去氧血紅素濃度等生理資訊，最後再利用上述血氧濃度公式計算血氧濃度。
    然而，由於血氧飽和儀係偵測穿透光線的光強度變化，因而會隨著不同的待測部位而偵測到不同的光強度信號；此外，當血氧飽和儀所偵測之待測部位發生移動時，則會偵測到劇烈變動的混亂波形而無法據以正確計算出生理資訊，因而其並不適合用於移動中操作的電子裝置。
    有鑑於此，本發明提出一種可偵測使用者生理特徵之鍵盤模組及顯示系統，其中該鍵盤模組於偵測生理特徵時，可消除手指移動所造成的訊號雜訊。
    本發明之一目的在提供一種鍵盤模組及顯示系統，該鍵盤模組透過分析手指的反射光訊號以偵測一接觸狀態、一手指位移量以及使用者生理特徵，並根據至少一鍵盤按鍵之一操作狀態產生一數位信號，以相對控制一顯示裝置進行相對應動作。
    本發明之另一目的在提供一種控制晶片，其透過分析手指的反射光訊號以偵測一接觸狀態、一手指位移量以及使用者生理特徵，並根據至少一鍵盤按鍵之一操作狀態產生一數位信號，藉以輸出經編碼、排序及/或壓縮之該手指資訊、生理資訊以及數位信號資訊。
    本發明之另一目的在提供一種鍵盤模組及顯示系統，其可偵測接觸狀態、手指位移量及使用者生理特徵，並具有消除環境光源影響的機制。
    本發明之另一目的在提供一種鍵盤模組及顯示系統，其可偵測接觸狀態、手指位移量及使用者生理特徵，並具有降低雜訊的機制。
    本發明之另一目的在提供一種鍵盤模組及顯示系統，其可偵測接觸狀態、手指位移量及使用者生理特徵，當閒置一預設時間後即進入休眠模式。
    本發明之另一目的在提供一種鍵盤模組及顯示系統，其可偵測接觸狀態、手指位移量及使用者生理特徵，當手指位移量太大時可捨棄生理特徵。
    為達上述目的，本發明提供一種鍵盤模組，用以偵測並輸出一手指之一生理特徵及一數位信號。該鍵盤模組包含複數鍵盤按鍵、一第一光源、一第二光源、一光源控制單元、至少一影像感測器及一處理單元。該第一光源發出一第一波長的光至該手指。該第二光源發出一第二波長的光至該手指。該光源控制單元控制該第一光源及該第二光源發光。該影像感測器以一取樣頻率接收來自該手指之反射光以產生相對該第一光源點亮之複數第一影像圖框及相對該第二光源點亮之複數第二影像圖框。該處理單元根據該等第一影像圖框及該等第二影像圖框計算該生理特徵並根據該等鍵盤按鍵之一操作狀態產生該數位信號。
    根據本發明之另一特點，本發明另提供一種供一使用者操控之鍵盤模組。該鍵盤模組包含複數鍵盤按鍵、一光學手指滑鼠、一通訊協定單元及一傳輸介面。該等鍵盤按鍵用以觸發一數位信號。該光學手指滑鼠用以偵測該使用者之一生理特徵及一手指位移量。該通訊協定單元用以針對該數位信號、該生理特徵及該手指位移量進行編碼、排序及壓縮至少其中一種處理。該傳輸介面用以輸出處理過之該數位信號、該生理特徵及該手指位移量。
    根據本發明之另一特點，本發明另提供一種影像系統，包含一顯示裝置及一鍵盤模組。該顯示裝置用以顯示影像。該鍵盤模組輸出一數位信號及一生理特徵至該顯示裝置，以控制該顯示裝置根據該數位信號更新所顯示影像並顯示該生理特徵。
    本發明實施例中，每張該第一影像圖框分割為至少兩部分並計算每一部分之一平均亮度，使用獨立元件分析法或盲訊號源分離法分析該等第一影像圖框之該每一部分之該平均亮度以求得一第一亮度變化；將每張該第二影像圖框分割為至少兩部分並計算每一部分之一平均亮度，使用獨立元件分析法或盲訊號源分離法分析該等第二影像圖框之該每一部分之該平均亮度以求得一第二亮度變化；並根據該第一亮度變化及該第二亮度變化計算生理特徵。
    本發明之鍵盤模組及影像系統中，所述生理特徵包含一血氧濃度及一脈搏數。本發明透過使用獨立元件分析法或盲訊號源分離法來分離移動資訊及生理資訊，可消除手指移動造成的訊號雜訊。
    為了讓本發明之上述和其他目的、特徵、和優點能更明顯，下文將配合所附圖示，作詳細說明如下。於本發明之說明中，相同之構件係以相同之符號表示，於此合先敘明。
    請參照第2A圖所示，其顯示本發明實施例之影像系統之示意圖，包含一鍵盤模組1及一顯示裝置2。該顯示裝置2例如可為一電視、一投影幕、一遊戲機螢幕、一電腦螢幕或其他用以顯示影像之顯示裝置。該鍵盤模組1用以控制該顯示裝置2更新顯示內容或影像以及顯示一生理特徵；其中，該鍵盤模組1可有線或無線地耦接該顯示裝置2。該鍵盤模組1用以偵測並輸出一生理特徵、一接觸狀態、一手指位移量及一數位信號至該顯示裝置2。
    該鍵盤模組1包含複數鍵盤按鍵10、一光學手指滑鼠及一傳輸介面18，其中該光學手指滑鼠包含一觸控件供一手指於上進行操控，該觸控件可結合於該等鍵盤按鍵10其中之一(例如顯示為13)或獨立於其外(例如顯示為13')。該等鍵盤按鍵10用以根據使用者之一操作狀態(按壓狀態)觸發一數位信號，例如透過按壓至少一鍵盤按鍵可產生不同的阻抗值、電壓值、震盪頻率等相關的數位信號；其中該數位信號例如為文字20、數字、符號及/或控制信號等一般鍵盤所輸出者。該光學手指滑鼠則用以偵測一使用者手指之一接觸狀態、一位移量以及該使用者之一生理特徵，其中該生理特徵例如包括血氧濃度及脈搏數等。本實施例中，當該光學手指滑鼠判斷該接觸狀態為一接觸態，方始進行該位移量及該生理特徵之偵測。該傳輸介面18則將該數位信號、接觸狀態、位移量及生理特徵有線或無線地傳送至該顯示裝置2，以使該顯示裝置2根據該數位信號更新顯示影像，並顯示該位移量及生理特徵。
    請參照第2B圖所示，其顯示本發明實施例之鍵盤模組1之光學手指滑鼠之示意圖，其包含兩光源111及112、一導光件12(此處導光件之數目僅為例示性)、一觸控件13、一影像感測器14、一處理單元15及一光源控制單元16。必須說明的是，第2B圖中各構件之空間關係僅為例示性，並非用以限定本發明。該等光源111及112例如可為發光二極體或雷射二極體，用以分別產生不同波長的光至一手指表面9S，所述波長較佳為一般血氧儀所使用的兩個波長，例如約660奈米之紅光以及約905、910或940奈米之紅外光。可以了解的是，此處所述波長係指光源發光光譜之中心波長。
    該導光件12用以將該等光源111及112所發出的光引導至該觸控件13；其中，該導光件12只要能夠引導該等光源111及112所發出的光至該觸控件13即可，其結構、數目及導光方式並無特定限制。其他實施例中，如果該等光源111及112所發出的光能夠直接入射至該觸控件13，該導光件12亦可能不予實施。
    該觸控件13具有一觸控面13S供該手指9於其上操控，該觸控件13較佳相對於該等光源111及112所發出的光為透明；其中當該觸控件13結合於一按鍵鍵盤10，該按鍵鍵盤10則較佳相對該等光源111及112所發出的光為透明。當該手指9靠近或接觸該觸控件13之觸控面13S時，該等光源111及112所發出的光被反射。可以了解的是，該觸控面13S之面積可大於或小於該手指表面9S，並無特定限制。
    該影像感測器14以一取樣參數接收來自該觸控件13(該手指表面9S)之反射光以產生複數影像圖框(每一影像圖框例如具有16×16畫素)；其中該取樣參數例如包含曝光時間、影像增益(可為類比增益或數位增益)等。該影像感測器14較佳為一主動陣列式影像感測器，例如CMOS影像感測器。
    該處理單元15根據該等鍵盤按鍵10之一操作狀態產生相應之一數位信號，並根據該影像感測器14所輸出之複數影像圖框偵測該手指9相對該觸控面13S之一接觸狀態、一位移量及該使用者之一生理特徵。該處理單元15所求得之該數位信號、接觸狀態、位移量及生理特徵例如可有線或無線地被傳送至具有至少一表示單元之一顯示裝置以進行顯示或相對應控制；其中，該表示單元例如可為一顯示器、一燈號、一七字節顯示及/或一聲音裝置。該顯示裝置可為一可攜式電子裝置或一家用電子裝置。
    該光源控制單元16耦接該處理單元15，以配合該影像感測器14之影像圖框擷取控制該等光源111及112發光，其實施方式將詳述於後。
    本實施例中，該等光源111及112、該影像感測器14、該處理單元15及該光源控制單元16係作為一光學手指滑鼠，用以偵測並輸出該手指9之一接觸狀態、一位移量及一生理特徵。
    請參照第2A至2C圖所示，第2C圖顯示本發明實施例之顯示系統之方塊圖。鍵盤模組1包含複數鍵盤按鍵10、一第一光源111、一第二光源112、該影像感測器14、該處理單元15、該光源控制單元16、一通訊協定單元17及一傳輸介面18，其中該鍵盤模組1與一主機裝置22及一表示單元23形成一顯示系統。由於該處理單元15係進行多功能運算，其可包含一手指偵測單元151用以偵測該手指9相對該觸控面13S之該接觸狀態、手指位移量以及生理特徵，並包含一鍵盤偵測單元152用以根據該等鍵盤按鍵10之一操作狀態(按壓狀態)產生並輸出該數位信號；亦即，該處理單元15可為單一元件或分為兩個單元。
    該第一光源111例如發出波長約為660奈米之紅光至該手指9；該第二光源112例如發出波長約為905、910或940奈米之紅外光至該手指9；廣義的說，該第一光源111及該第二光源112可分別發出一般血氧儀所使用的兩個波長的光。該光源控制單元16控制該第一光源111及該第二光源112發光。該影像感測器14接收來自該手指表面9S之該第一光源111及該第二光源112之反射光。該通訊協定單元17用以針對該處理單元15所求得之該數位信號、接觸狀態、位移量及生理特徵進行編碼、排序及/或壓縮至少一種程序處理後輸出至該傳輸介面18進行傳輸。該傳輸介面18例如可為PS2介面、USB介面、藍牙介面或其他鍵盤可適用的傳輸介面，用以將編碼、排序及/或壓縮後之該數位信號、接觸狀態、位移量及生理特徵透過有線或無線傳輸的方式傳輸至外部之一主機裝置22；其中，有線及無線傳輸技術已為習知，故於此不再贅述。該主機裝置22耦接於具有至少一表示單元23之該顯示裝置2內，用以控制該顯示裝置2透過該表示單元23顯示及/或回應所接收之該數位信號、接觸狀態、位移量及生理特徵。該主機裝置22可結合於該表示單元23內以形成一個顯示裝置或獨立於其外。
    本發明實施例之鍵盤模組1可搭配具有表示單元23之一顯示裝置2，讓一使用者可透過該鍵盤模組1控制該表示單元23上一游標、一執行軟體及畫面顯示，並於生理特徵顯示疲勞或亢奮狀態時(取決於生理特徵的數值)對使用者提出警示；其中，表示生理特徵及警示的方式例如可利用軟體執行畫面顯示、燈號顯示或聲音顯示的方式來達成，並無特定限制。該顯示裝置2例如可根據該數位信號切換畫面、顯示符號、影像更新、調整顯示參數等；根據該位移量控制一游標動作；顯示該生理特徵且當該生理特徵超出一預設值時產生一警示狀態，例如畫面變暗、圖像插入、聲音提示等，但並不以此限。
    一實施例中，該鍵盤模組1亦可使用兩個影像感測器分別偵測該等光源111及112所產生不同波長的光(即影像感測器14由兩個影像感測器取代)，其中一個影像感測器或兩個影像感測器可設置一帶通濾光器(bandpass filter)來選擇所欲接收的光譜。
    由於該處理單元15(鍵盤偵測單元152)根據該等鍵盤按鍵10產生數位信號之方式已為習知，故於此不再贅述。以下僅針對該處理單元15(手指偵測單元151)計算該接觸狀態、手指位移量及生理特徵的方式進行詳細說明；亦即，以下說明中僅針對該等光源111及112、該影像感測器14、該處理單元15(手指偵測單元151)及該光源控制單元16所組成之光學手指滑鼠的動作進行說明。 取樣機制
    本實施例之光學手指滑鼠係使用兩光源111及112並同時執行兩種功能；其中，接觸狀態及位移量之偵測功能並不限定使用特定波長之影像圖框，而生理特徵功能之偵測則必須對應不同波長之影像圖框分別計算。以下首先說明影像圖框之取樣機制。
    一種實施例中，該光源控制單元16控制該第一光源111及第二光源112輪流發光，該影像感測器14則以高速且固定的一取樣頻率(例如每秒3,000張)同步該第一光源111或該第二光源112之點亮擷取影像圖框，並輸出如第3圖所示複數影像圖框I1~I6…至該處理單元15(手指偵測單元151)，其中該等影像圖框I1~I6…包含第一影像圖框I1、I3、I5…，其例如相對該第一光源111之點亮，及第二影像圖框I2、I4、I6…，其例如相對該第二光源112之點亮。
    該處理單元15可根據該等第一影像圖框及該等第二影像圖框I1~I6…判斷一接觸狀態並計算一位移量，例如根據該等第一影像圖框及該等第二影像圖框之亮度與至少一門檻值的比較結果判斷該手指9是否靠近或接觸該觸控面13S，其中當該等影像圖框之亮度大於或小於該至少一門檻值時，即判斷進入接觸態；進入接觸態後，該處理單元15可根據兩張第一影像圖框、一張第一影像圖框與一張第二影像圖框、或者兩張第二影像圖框間之相關性計算該位移量。必須說明的是，本實施例中係必須利用相對應兩不同波長的反射光之影像圖框進行判斷接觸狀態及計算位移量的運作，並不同於傳統導航裝置。
    該處理單元15根據該等第一影像圖框I1、I3、I5…計算出該等第一影像圖框之亮度變化，並根據該等第二影像圖框I2、I4、I6…計算出該等第二影像圖框之亮度變化(容詳述於後)，並據以分別計算出兩種光譜被吸收的比例以求出帶氧血紅素濃度HbO2及去氧血紅素濃度Hb，最後利用血氧濃度公式計算出血氧濃度；並透過該等第一影像圖框及/或該等第二影像圖框之亮度變化與至少一閾值的比較結果計算一脈搏數。
    另一實施例中，該光源控制單元16控制該第一光源111及該第二光源112同步於該影像感測器14之影像圖框擷取同時發光；亦即，此時該影像感測器14會同時接收到兩種波長的反射光。因此，此實施例中，該影像感測器14之一感測面14S的一部分前方較佳另設置一濾光器14f(如第4圖所示)，其中該濾光器14f可為一帶通濾光器以使該濾光器14f後方的部分感測面14S僅能感測該第一光源111之光譜或該第二光源112之光譜，以使該處理單元15能夠分辨第一影像圖框(相對該第一光源111之部分影像圖框)及第二影像圖框(相對該第二光源112之部分影像圖框)。可以了解的是，本實施例中該濾光器14f的設置位置及面積並不限於第4圖所示。
    藉此，該處理單元15同樣可根據該等第一影像圖框及該等第二影像圖框I1~I6…計算一接觸狀態及一位移量；並可根據該等第一影像圖框I1、I3、I5…計算出該等第一影像圖框之亮度變化及根據該等第二影像圖框I2、I4、I6…計算出該等第二影像圖框之亮度變化，並根據兩亮度變化之關係計算血氧濃度及脈搏數至少其中之一。
    可以了解的是，由於該影像感測器14可能對不同波長的光具有不同的感光效率，或者該第一光源111及該第二光源112之發光亮度不完全相同，因此較佳於該鍵盤模組1出廠前針對該影像感測器14所偵測影像圖框之亮度進行調整(例如調整相對不同波長影像圖框之曝光時間、影像增益等取樣參數)，以使該影像感測器14所擷取之初始影像圖框具有大致相同的亮度，以消除誤判斷的可能性。
    本實施例之精神在於，以該光源控制單元16控制該第一光源111及該第二光源發光112發光，使該影像感測器14以一取樣頻率接收來自該手指9之反射光以產生相對該第一光源點亮之複數第一影像圖框及相對該第二光源點亮之複數第二影像圖框；該處理單元15則根據該等第一影像圖框及第二影像圖框計算該接觸狀態、手指位移量及生理特徵。 消除環境光機制
    第2B圖中，由於該接觸件13為透明，同時手指9會透光，該鍵盤模組1外部的環境光會透過該手指9與接觸件13(13')被該影像感測器14接收而影響到其所擷取影像圖框的影像品質。本實施例中，該光源控制單元16可控制該第一光源111及該第二光源112於部分期間不發光。
    例如請參照第5圖所示，其顯示該影像感測器14之影像擷取與該第一光源111及該第二光源112之發光情形；其中，實線箭號表示光源點亮(或以一第一亮度點亮)而虛線箭號表示光源熄滅(或以一第二亮度點亮)，且該第二亮度例如小於該第一亮度。第5A圖顯示該影像感測器14以一固定取樣頻率持續擷取影像圖框。第5B圖顯示該第一光源111及該第二光源112係同時輪流地點亮及熄滅，因此該影像感測器14則可輪流擷取到亮影像圖框(光源點亮或以該第一亮度點亮)及暗影像圖框(光源熄滅或以該第二亮度點亮)。第5C圖顯示該第一光源111及該第二光源112每隔兩張影像圖框同時點亮一次，其通常相對於該手指9具有較低位移量之情形。如前所述，當該第一光源111及該第二光源112同時點亮時(第5B及5C圖)，該影像感測器14包含一濾光器14f以空間區隔不同光源之影像圖框，以使該影像感測器14的一部份可感測該第一光源111之反射光而另一部分可感測該第二光源112之反射光。
    當該手指9接觸或靠近該觸控面13S時，相對於光源點亮時所擷取之亮影像圖框包含(手指反射光+雜散光+環境光)，相對於光源未點亮時所擷取之暗影像圖框則僅包含(環境光)，因此若將亮影像圖框減去暗影像圖框，則可有效消除環境光之影響。該處理單元15則可根據亮暗影像圖框之差分影像圖框計算該接觸狀態、手指位移量及生理特徵。
    請參照第5D圖所示，其顯示該第一光源111及該第二光源112係輪流點亮之實施方式。此實施例中，由於要使該影像感測器14擷取到暗影像圖框，因此該光源控制單元16控制該第一光源111與該第二光源112相隔一張影像圖框輪流地點亮，例如於第5D圖之時間td時兩光源均不點亮。藉此，該處理單元15則可計算差分第一影像(亮第一影像圖框-暗影像圖框)及差分第二影像(亮第二影像圖框-暗影像圖框)，並根據該等差分影像計算該接觸狀態、手指位移量及生理特徵。如前所述，當該第一光源111及該第二光源112輪流點亮時，該影像感測器14以時間區隔相對於不同光源之影像圖框。
    本實施例之精神在於，使該光源控制單元16控制該第一光源111及該第二光源112同時或輪流發光，並使該影像感測器14能夠擷取到該等光源不發光時的暗影像圖框，並透過計算亮暗影像之差分影像以消除環境光的影響。因此，第5圖中所示各光源之發光情形僅為例示性，並非用以限定本發明。 降噪機制
    由於該影像感測器14所擷取之影像圖框中會存在雜訊，且雜訊通常以隨機的方式分佈於所擷取的影像圖框中，因此本實施例可進一步進算M張影像圖框之和來提高訊雜比(SNR)，以增加計算生理特徵的精確度；例如，將每10張影像圖框進行相加，且兩組相加的10張影像圖框可部分重複或完全不重複。可以了解的是，當該第一光源111及該第二光源112係輪流點亮時，本實施例之影像圖框之和分別為該等第一影像圖框(例如第3圖之I1+I3+I5…)之和以及該等第二影像圖框(例如第3圖之I2+I4+I6…)之和，這是由於必需分別計算兩組光強度變化。然而，當該第一光源111及該第二光源112係同時點亮，本實施例之影像圖框之和則為連續的影像圖框(例如第3圖之I1+I2+I3+I4+I5+I6…)，並透過後處理以空間區隔的方式分辨兩組光強度變化。此外，當配合上述消除環境光機制時，本實施例之影像圖框之和則為差分影像圖框之和；亦即，執行完消除環境光處理後接著進行降噪處理。其他實施例中，亦可僅執行消除環境光處理及降噪處理其中之一。
    如前所述，該影像感測器14有可能在不同條件下以不同的取樣參數來擷取影像，例如該影像感測器14相對於不同波長的光可能具有不同的吸收率，因此可能會以不同的曝光時間及影像增益等取樣參數來使得該等第一影像圖框及該等第二影像圖框具有大致相同的亮度，以能夠正確根據該等影像圖框進行後處理，亦即相對該第一影像圖框及第二影像圖框之取樣參數可能不相同。為了排除不同取樣參數的影響，可將每張影像圖框或M張影像圖框之和或平均除以取樣參數以進行歸一化處理，例如(M張影像圖框之和/取樣參數)或(M張影像圖框之平均/取樣參數)；其中，M為正整數。 生理特徵計算
    相對於不同光源點亮時，該影像感測器14所擷取之影像圖框同時包含有生理資訊及手指移動資訊。因此，本實施例中該處理單元15(或該手指偵測單元151)首先需將兩種資訊分離後，才能夠正確計算生理特徵；亦即，該處理單元15例如採用獨立元件分析法(Independent Component Analysis,ICA)或盲訊號源分離法(Blind Source Separation,BSS)來將兩種資訊分離。
    請參照第3及6圖所示，以第3圖中該等第一影像圖框I1、I3、I5…為例，將複數第一影像圖框(可為原始影像圖框、經過消除環境光機制及/或降噪機制處理過的第一影像圖框)或複數第一影像圖框和(M張原始影像圖框和、經過消除環境光機制及/或降噪機制處理過的M張第一影像圖框和)的每張影像圖框或影像圖框和分割為至少兩部分並分別求得一平均亮度，例如將影像圖框I1分割成平均亮度為B1及B1 '兩部分；將影像圖框I3分割成平均亮度為B3及B3 '兩部分；…；將影像圖框I2N-1分割成平均亮度為B2N-1及B2N-1 '兩部分(其他實施例中可多於兩部分)。接著，利用獨立元件分析法或盲訊號源分離法分離出第一移動資訊及第一生理資訊(如第6圖所示)，其皆顯示為一亮度變化線型。本實施例係將移動資訊捨棄並利用生理資訊的亮度變化線型來計算生理特徵。可以了解的是，由於該影像感測器14之取樣頻率遠遠大於脈搏頻率，因此所分離出的生理資訊可顯示出光強度隨脈搏變化的線型(類似第1圖)；分離出的移動資訊分佈並不限定如第6圖所示者。此外，該等影像圖框分割的兩個部分並不限定為上下兩部分。此外，由於必須分別計算相對兩不同波長的光之生理資訊，上述分離程序係分別針對第一影像圖框I1、I3、I5…(相對應第一光源點亮)及第二影像圖框I2、I4、I6…(相對應第二光源點亮)來進行。該等第二影像圖框(I2、I4、I6…)亦被分離成第二移動資訊及第二生理資訊等亮度變化，並捨棄第二移動資訊而僅利用第二生理資訊之亮度變化。必須說明的是，當利用影像圖框和或平均來進行資訊分離時，第6圖中之I1~I2N-1以及I2~I2N每一個均表示M張影像圖框之和、平均或其歸一化的結果。
    必須強調的是，該手指9之接觸狀態及位移量係由該處理單元15直接根據該等第一影像圖框及第二影像圖框求得，並不需要使用分離後的第一移動資訊及第二移動資訊。獨立元件分析法或盲訊號源分離法主要用以將混合信號分離，分離出的移動資訊捨棄後，可消除手指移動所造成的訊號雜訊。
    本實施例中，該處理單元15另根據至少一閾值與該第一亮度變化及/或該第二亮度變化之一比較結果計算一脈搏數。 休眠模式
    本發明實施例之鍵盤模組1在閒置一預設時間後，可進入休眠模式。例如，該處理單元15於一預設時間判斷該手指9未靠近或接觸該觸控面13S時，即可進入休眠模式。休眠模式中，例如可暫停該影像感測器14之影像擷取並暫停該等光源111及112之發光。 生理特徵捨棄機制
    本發明實施例之鍵盤模組1之處理單元15可同時計算位移量及生理特徵，然而精確的生理特徵計算較佳是在位移量較低的情形。因此，本實施例可事先判斷手指位移量是否大於一預設值，若該手指位移量大於該預設值，則該影像感測器14所擷取之影像圖框僅用以計算位移量及判斷接觸狀態而不用以計算生理特徵，或者即使計算出生理特徵也不經過該通訊協定單元17處理或該傳輸介面18傳輸，而直接將其捨棄。該預設值則根據實際應用決定，例如，但不限於，可根據感測面14S及/或搜尋框之尺寸決定。
    該鍵盤模組1根據手指表面9S之反射光偵測生理特徵的方法，包含下列步驟：提供一第一波長及一第二波長的光至一手指表面(步驟S11)；擷取該第一波長的光之反射光以產生複數第一影像圖框並擷取該第二波長的光之反射光以產生複數第二影像圖框(步驟S12)；將每張該第一影像圖框及每張該第二影像圖框分割成至少兩部分並求得每一部分之一平均亮度(步驟S13)；利用獨立元件分析法或盲訊號源分離法分析該等第一影像圖框之該每一部分之該平均亮度以求得一第一亮度變化並分析該等第二影像圖框之該每一部分之該平均亮度以求得一第二亮度變化(步驟S14)；以及根據該第一亮度變化及該第二亮度變化求得一生理特徵(步驟S15)。本實施例各步驟之實施方式已詳述於前，故於此不再贅述。
    另一實施例中，該等光源111及112、該影像感測器14、該處理單元15、該光源控制單元16、該通訊協定單元17及該傳輸介面18之一部份或全部元件亦可製作為一控制晶片或一封裝體，如第8圖所示。該控制晶片或封裝體用以偵測該等鍵盤按鍵10之一操作狀態及該手指9之一接觸狀態、位移量及生理特徵，並輸出經編碼、排序及/或壓縮之該接觸狀態、位移量、生理特徵及數位信號；其中計算該接觸狀態、位移量及生理特徵的方式如前所述，故於此不再贅述。此外可以了解的是，第8圖中該光學手指滑鼠中各元件的配置方式僅為例示性，並非用以限制本發明。其他實施例中，所述壓縮處理亦可另外設置一壓縮單元執行。
    綜上所述，習知鍵盤模組並無法偵測使用者的生理特徵，且血氧儀計算血氧濃度的方式因具有無法判斷移動中的待測部位等因素而無法相容於鍵盤模組上。因此，本發明另提供一種鍵盤模組及顯示系統(第2A至2C圖)，其中該鍵盤模組可同時偵測手指資訊及鍵盤資訊，並控制一顯示裝置根據該鍵盤資訊更新顯示內容並顯示該手指資訊。本發明各實施例之鍵盤模組於偵測手指位移量的同時可偵測使用者之生理特徵，並可有效消除手指移動所造成的訊號雜訊及消除環境光源影響，並具有休眠模式及捨棄生理資訊的機制。
    雖然本發明已以前述實施例揭示，然其並非用以限定本發明，任何本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與修改。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
    1．．．鍵盤模組
    10．．．鍵盤按鍵
    111、112．．．光源
    12、12'．．．導光件
    13、13'．．．觸控件
    13S．．．觸控面
    14．．．影像感測器
    14f．．．濾光器
    14S．．．感測面
    15．．．處理單元
    151．．．手指偵測單元
    152．．．鍵盤偵測單元
    16．．．光源控制單元
    17．．．通訊協定單元
    18．．．傳輸介面
    2．．．顯示裝置
    20．．．文字
    21．．．游標
    22．．．主機裝置
    23．．．表示單元
    9．．．手指
    9S．．．手指表面
    I1~I2N．．．影像圖框
    B1~B2N、B1 '~B2N '．．．平均亮度
    S11~S15．．．步驟
    第1圖顯示血氧飽和儀所偵測穿透光的光強度變化之示意圖。
    第2A圖顯示本發明一實施例之顯示系統之示意圖。
    第2B圖顯示本發明一實施例之鍵盤模組之光學手指滑鼠之示意圖。
    第2C圖顯示本發明一實施例之顯示系統之方塊圖。
    第3圖顯示本發明一實施例之鍵盤模組之光學手指滑鼠之影像感測器所擷取的影像圖框之示意圖。
    第4圖顯示本發明實施例之鍵盤模組之光學手指滑鼠之影像感測器，其中一濾光器係設置於部分感測面前方。
    第5圖顯示本發明實施例之鍵盤模組之光學手指滑鼠中，影像擷取與光源發光之示意圖。
    第6圖顯示本發明實施例之鍵盤模組之處理單元分離移動資訊及生理資訊之示意圖。
    第7圖顯示本發明實施例之生理特徵偵測方法之流程圖。
    第8圖顯示本發明另一實施例之鍵盤模組之光學手指滑鼠之示意圖。
    1．．．鍵盤模組
    10．．．鍵盤按鍵
    13、13'．．．觸控件
    18．．．傳輸介面
    2．．．顯示裝置
    20．．．文字
    21．．．游標
    权利要求:
    Claims (20)
    [1] 一種鍵盤模組，用以偵測並輸出一手指之一生理特徵及一數位信號，該鍵盤模組包含：複數鍵盤按鍵；一第一光源，發出一第一波長的光至該手指；一第二光源，發出一第二波長的光至該手指；一光源控制單元，控制該第一光源及該第二光源發光；至少一影像感測器，以一取樣頻率接收來自該手指之反射光以產生相對該第一光源點亮之複數第一影像圖框及相對該第二光源點亮之複數第二影像圖框；以及一處理單元，根據該等第一影像圖框及該等第二影像圖框計算該生理特徵並根據該等鍵盤按鍵之一操作狀態產生該數位信號。
    [2] 依申請專利範圍第1項之鍵盤模組，其中該處理單元將每張該第一影像圖框分割為至少兩部分並計算每一部分之一平均亮度，分析該等第一影像圖框之該每一部分之該平均亮度以求得一第一亮度變化；將每張該第二影像圖框分割為至少兩部分並計算每一部分之一平均亮度，分析該等第二影像圖框之該每一部分之該平均亮度以求得一第二亮度變化；並根據該第一亮度變化及該第二亮度變化計算該生理特徵。
    [3] 依申請專利範圍第1或2項之鍵盤模組，其中該生理特徵包含一血氧濃度及一脈搏數。
    [4] 依申請專利範圍第2項之鍵盤模組，其中該處理單元另根據至少一閾值與該第一亮度變化及該第二亮度變化至少其中之一的比較結果計算一脈搏數。
    [5] 依申請專利範圍第1項之鍵盤模組，其中該處理單元另比較該等第一影像圖框及該等第二影像圖框之亮度與至少一門檻值以判斷一接觸狀態。
    [6] 依申請專利範圍第1項之鍵盤模組，其中該處理單元另根據兩張該第一影像圖框、一張該第一影像圖框與一張該第二影像圖框及兩張該第二影像圖框計算一位移量。
    [7] 依申請專利範圍第1項之鍵盤模組，其中該光源控制單元控制該第一光源及該第二光源輪流點亮以使該影像感測器輪流接收該第一光源及該第二光源之反射光；或者控制該第一光源及該第二光源同時點亮以使該影像感測器同時接收該第一光源及該第二光源之反射光，且該影像感測器包含一濾光器覆蓋於該影像感測器之一感測面的一部分。
    [8] 依申請專利範圍第1項之鍵盤模組，其中該第一光源、該第二光源、該光源控制單元、該至少一影像感測器及該處理單元係封裝成一控制晶片以輸出經編碼、排序及壓縮至少一種程序處理之該生理特徵及該數位信號。
    [9] 依申請專利範圍第1項之鍵盤模組，另包含一觸控件供該手指於其上操控；其中該觸控件可為該等鍵盤按鍵其中之一或獨立於該等鍵盤按鍵之外。
    [10] 一種鍵盤模組，供一使用者操控，該鍵盤模組包含：複數鍵盤按鍵，用以觸發一數位信號；一光學手指滑鼠，用以偵測該使用者之一生理特徵及一手指位移量；一通訊協定單元，用以針對該數位信號、該生理特徵及該手指位移量進行編碼、排序及壓縮至少其中一種處理：以及一傳輸介面，用以輸出處理過之該數位信號、該生理特徵及該手指位移量。
    [11] 依申請專利範圍第10項之鍵盤模組，其中該光學手指滑鼠另包含：一第一光源，發出一第一波長的光至該手指；一第二光源，發出一第二波長的光至該手指；一光源控制單元，控制該第一光源及該第二光源發光；至少一影像感測器，以一取樣頻率接收來自該手指之反射光以產生相對該第一光源點亮之複數第一影像圖框及相對該第二光源點亮之複數第二影像圖框；以及一處理單元，根據該等第一影像圖框及該等第二影像圖框計算並輸出該生理特徵及該手指位移量。
    [12] 依申請專利範圍第11項之鍵盤模組，其中該處理單元將每張該第一影像圖框分割為至少兩部分並計算每一部分之一平均亮度，分析該等第一影像圖框之該每一部分之該平均亮度以求得一第一亮度變化；將每張該第二影像圖框分割為至少兩部分並計算每一部分之一平均亮度，分析該等第二影像圖框之該每一部分之該平均亮度以求得一第二亮度變化；並根據該第一亮度變化及該第二亮度變化計算該生理特徵。
    [13] 依申請專利範圍第12項之鍵盤模組，其中該處理單元另根據至少一閾值與該第一亮度變化及該第二亮度變化至少其中之一的比較結果計算一脈搏數。
    [14] 依申請專利範圍第11項之鍵盤模組，其中該處理單元另比較該等第一影像圖框及該等第二影像圖框之亮度與至少一門檻值以判斷一接觸狀態。
    [15] 一種顯示系統，包含：一顯示裝置，用以顯示影像；以及一鍵盤模組，輸出一數位信號及一生理特徵至該顯示裝置，以控制該顯示裝置根據該數位信號更新所顯示影像並顯示該生理特徵。
    [16] 依申請專利範圍第15項之顯示系統，其中當該生理特徵超出一預設值，該顯示裝置產生一警示狀態。
    [17] 依申請專利範圍第15項之顯示系統，其中該鍵盤模組另包含：複數鍵盤按鍵；一第一光源，發出一第一波長的光至該手指；一第二光源，發出一第二波長的光至該手指；一光源控制單元，控制該第一光源及該第二光源發光；至少一影像感測器，以一取樣頻率接收來自該手指之反射光以產生相對該第一光源點亮之複數第一影像圖框及相對該第二光源點亮之複數第二影像圖框；以及一處理單元，根據該等第一影像圖框及該等第二影像圖框計算該生理特徵並根據該等鍵盤按鍵之一操作狀態產生該數位信號。
    [18] 依申請專利範圍第17項之顯示系統，其中該處理單元將每張該第一影像圖框分割為至少兩部分並計算每一部分之一平均亮度，分析該等第一影像圖框之該每一部分之該平均亮度以求得一第一亮度變化；將每張該第二影像圖框分割為至少兩部分並計算每一部分之一平均亮度，分析該等第二影像圖框之該每一部分之該平均亮度以求得一第二亮度變化；並根據該第一亮度變化及該第二亮度變化計算該生理特徵。
    [19] 依申請專利範圍第17項之顯示系統，其中該處理單元另根據兩張該第一影像圖框、一張該第一影像圖框與一張該第二影像圖框及兩張該第二影像圖框計算一位移量，該鍵盤模組輸出該位移量至該顯示裝置以相對控制該顯示裝置所顯示之一游標。
    [20] 依申請專利範圍第17項之顯示系統，其中該處理單元另根據至少一閾值與該第一亮度變化及該第二亮度變化至少其中之一的比較結果計算一脈搏數。
    类似技术:
    公开号 | 公开日 | 专利标题
    TWI476641B|2015-03-11|遙控器及顯示系統
    TWI475193B|2015-03-01|光學測距系統及其運作方法
    TWI461972B|2014-11-21|光學滑鼠及其運作方法
    TWI489325B|2015-06-21|光學手指滑鼠、電子裝置及生理特徵偵測裝置
    TWI474215B|2015-02-21|鍵盤模組及顯示系統
    TWI438658B|2014-05-21|人機介面系統及手指滑鼠系統
    TWI451295B|2014-09-01|光學手指滑鼠、滑鼠控制模組及其生理特徵偵測方法
    TWI485629B|2015-05-21|An optical input device, an input detection method thereof, and a method for the optical input device
    US10905340B2|2021-02-02|Physiological detection device
    US9289159B2|2016-03-22|User Identification method, physiological detection device and physiological detection method
    CN106456025A|2017-02-22|光学生命体征传感器
    CN103135801B|2016-01-20|人机界面系统及手指鼠标系统
    CN103123542B|2015-12-16|光学鼠标及其操作方法
    CN103135800B|2016-01-20|光学手指鼠标、鼠标控制模块及其生理特征检测方法
    CN103034342B|2015-11-18|光学手指鼠标、电子装置及生理特征检测装置
    CN103136919B|2015-04-15|遥控器和显示系统
    US20140128695A1|2014-05-08|Portable 2-dimension oximeter image device
    CN107704107A|2018-02-16|生理检测装置及其操作方法
    CN103135772A|2013-06-05|键盘模块及显示系统
    同族专利:
    公开号 | 公开日
    US20130127722A1|2013-05-23|
    US9454238B2|2016-09-27|
    TWI474215B|2015-02-21|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    CN104346257A|2013-07-29|2015-02-11|原相科技股份有限公司|具有操作模式分析的输入装置和电脑系统|FI893028A|1988-06-23|1989-12-24|Fujitsu Ltd|Anordning foer avkaenning av data fraon en ojaemn yta.|
    US6681128B2|1990-10-06|2004-01-20|Hema Metrics, Inc.|System for noninvasive hematocrit monitoring|
    US5867148A|1991-07-12|1999-02-02|Hitachi, Ltd.|Space-saving information processing apparatus|
    US5546471A|1994-10-28|1996-08-13|The National Registry, Inc.|Ergonomic fingerprint reader apparatus|
    US5974338A|1997-04-15|1999-10-26|Toa Medical Electronics Co., Ltd.|Non-invasive blood analyzer|
    US6353750B1|1997-06-27|2002-03-05|Sysmex Corporation|Living body inspecting apparatus and noninvasive blood analyzer using the same|
    JP4554739B2|1998-10-23|2010-09-29|シスメックス株式会社|無侵襲生体計測装置および無侵襲生体計測方法|
    US6490030B1|1999-01-18|2002-12-03|Verification Technologies, Inc.|Portable product authentication device|
    US20020140675A1|1999-01-25|2002-10-03|Ali Ammar Al|System and method for altering a display mode based on a gravity-responsive sensor|
    US6377833B1|1999-01-25|2002-04-23|Douglas Albert|System and method for computer input of dynamic mental information|
    US6616613B1|2000-04-27|2003-09-09|Vitalsines International, Inc.|Physiological signal monitoring system|
    JP3617476B2|2001-07-19|2005-02-02|株式会社日立製作所|指認証装置|
    TWI243328B|2002-04-26|2005-11-11|Tatung Co Ltd|Mouse with detecting physiological signal and environmental luminance|
    CA2494030C|2002-07-26|2009-06-09|Cas Medical Systems, Inc.|Method for spectrophotometric blood oxygenation monitoring|
    JP3770241B2|2003-03-04|2006-04-26|株式会社日立製作所|個人認証装置及び個人認証方法|
    US7298362B2|2003-07-31|2007-11-20|Kye Systems Corp.|Pointing device with finger-contact control|
    JP2007535774A|2004-04-30|2007-12-06|ヒルクレスト・ラボラトリーズ・インコーポレイテッド|自由空間ポインティングデバイスにおける意図的でない動きを除去するための方法およびデバイス|
    US20070132733A1|2004-06-08|2007-06-14|Pranil Ram|Computer Apparatus with added functionality|
    US20060109251A1|2004-11-19|2006-05-25|Jesse Kelly|Combined keyboard and movement detection system|
    CN101557758B|2005-03-25|2015-01-07|Cnoga控股有限公司|用于测量化学浓度、化学饱和度和生物物理参数的光学传感器装置和图象处理单元|
    DE112005003633B8|2005-06-29|2021-09-16|Razer Usa Ltd.|Computer-System und Verfahren zum automatischen Einstellen einer Ansichttiefe eines Zeigergeräts von einem optischen Sensor|
    GB0607270D0|2006-04-11|2006-05-17|Univ Nottingham|The pulsing blood supply|
    DE102006055691A1|2006-11-23|2008-05-29|Flore, Ingo, Dr.|Medizinische Messvorrichtung|
    US20080132770A1|2006-12-05|2008-06-05|Starr Life Sciences Corp.|Research data classification and quality control for data from non-invasive physiologic sensors|
    US11197651B2|2007-03-08|2021-12-14|Sync-Rx, Ltd.|Identification and presentation of device-to-vessel relative motion|
    US20090093687A1|2007-03-08|2009-04-09|Telfort Valery G|Systems and methods for determining a physiological condition using an acoustic monitor|
    US20120004517A1|2007-04-11|2012-01-05|Starr Life Sciences Corp.|Blood pressure monitor and pulse oximeter system for animal research|
    JP5067024B2|2007-06-06|2012-11-07|ソニー株式会社|生体情報取得装置および生体情報取得方法|
    EP3179461B1|2007-07-09|2019-09-04|Sony Corporation|Electronic apparatus and control method therefor|
    US20090015558A1|2007-07-11|2009-01-15|Chin-Yeh Hung|Mouse capable of detecting a pulse|
    US7857768B2|2007-10-10|2010-12-28|Starr Life Sciences Corporation|Integrated tail mounted blood pressure monitor and pulse oximeter system for animal research|
    TWI351265B|2007-11-06|2011-11-01|Asustek Comp Inc|Input device with physiological measuring module|
    US20090135140A1|2007-11-27|2009-05-28|Logitech Europe S.A.|System and method for accurate lift-detection of an input device|
    US8571617B2|2008-03-04|2013-10-29|Glt Acquisition Corp.|Flowometry in optical coherence tomography for analyte level estimation|
    WO2009147755A1|2008-06-04|2009-12-10|富士通株式会社|情報処理装置および入力制御方法|
    TW201011604A|2008-09-12|2010-03-16|Holtek Semiconductor Inc|Power saving apparatus and method for wireless mouse|
    TWI370382B|2008-11-14|2012-08-11|Kye Systems Corp||
    TW201032091A|2009-02-17|2010-09-01|Pixart Imaging Inc|Optical displacement detecting device and operating method thereof|
    US8320985B2|2009-04-02|2012-11-27|Empire Technology Development Llc|Touch screen interfaces with pulse oximetry|
    US8509869B2|2009-05-15|2013-08-13|Covidien Lp|Method and apparatus for detecting and analyzing variations in a physiologic parameter|
    US8786575B2|2009-05-18|2014-07-22|Empire Technology Development LLP|Touch-sensitive device and method|
    US20110141016A1|2009-12-15|2011-06-16|Lu Chun Hao|Mouse for measuring consistency of blood oxygen|
    US20110320216A1|2010-06-24|2011-12-29|Kasmark Thomas L|Computer pointing device having medical monitoring features and system for collecting, processing, storing, and dispersing data therefrom|
    US9557824B2|2010-07-30|2017-01-31|Philip J. Bruno|Computer keyboard with ultrasonic user proximity sensor|
    US8928671B2|2010-11-24|2015-01-06|Fujitsu Limited|Recording and analyzing data on a 3D avatar|
    TWI489325B|2011-09-21|2015-06-21|Pixart Imaging Inc|光學手指滑鼠、電子裝置及生理特徵偵測裝置|
    TWI461972B|2011-11-04|2014-11-21|Pixart Imaging Inc|光學滑鼠及其運作方法|
    TWI451295B|2011-11-17|2014-09-01|Pixart Imaging Inc|光學手指滑鼠、滑鼠控制模組及其生理特徵偵測方法|
    TWI475193B|2011-11-18|2015-03-01|Pixart Imaging Inc|光學測距系統及其運作方法|
    TWI438658B|2011-11-22|2014-05-21|Pixart Imaging Inc|人機介面系統及手指滑鼠系統|US9344085B2|2013-03-27|2016-05-17|Blackberry Limited|Keypad with optical sensors|
    US20150212598A1|2014-01-28|2015-07-30|Pixart Imaging Inc.|Dual mode optical navigation device and mode switching method thereof|
    US9557825B2|2014-06-10|2017-01-31|Maxwell Minoru Nakura-Fan|Finger position sensing and display|
    US20160026275A1|2014-07-23|2016-01-28|Verifone, Inc.|Data device including ofn functionality|
    US10544923B1|2018-11-06|2020-01-28|Verifone, Inc.|Devices and methods for optical-based tamper detection using variable light characteristics|
    法律状态:
    优先权:
    申请号 | 申请日 | 专利标题
    TW100142002A|TWI474215B|2011-11-17|2011-11-17|鍵盤模組及顯示系統|TW100142002A| TWI474215B|2011-11-17|2011-11-17|鍵盤模組及顯示系統|
    US13/617,372| US9454238B2|2011-11-17|2012-09-14|Keyboard module and display system|
    [返回顶部]